همان روز رسول خدا‌ص مسجدی در آن‌جا تأسیس کرد که به نام منطقه شهرت یافت. حضرت محمد‌ص همچون دیگر کارهای اجتماعی، در ساخت این مسجد شرکت داشت و مانند بقیه کار می‌کرد. بعدها نیز معمولاً هفته‌ای یک روز پیامبر‌ص به مسجد قبا می‌رفت و در آن‌جا نماز می‌خواند.
از همان زمان مسلمانان با توجه به اهمیتی که حضرت محمد‌ص برای مسجد قبا قایل بود، به این مسجد اهمیت می‌دادند. مسجد قبا بارها بازسازی شد. نخستین بار در روزگار خلیفه سوم، بار دیگر در دوره عمر بن عبدالعزیز که آن را توسعه داد و رواق‌ها و گل‌دسته‌ای برایش ساخت. پس از آن هم بارها این مسجد بازسازی شد که آخرین بار در سال 1405 هجری بود. در این سال از چهار طرف بر مساحت مسجد افزوده و به جای ساختمان قدیمی آن، بنایی بزرگ‌تر براساس معماری بنای قبلی ساخته شد.
در این بازسازی به‌جای یک گلدسته پیشین، در چهار طرف مسجد چهار گلدسته به بلندی 47 متر قرار گرفت. حالا دو رواق شمالی و جنوبی با یک محوطه روباز میان آنها برای مسجد ساخته شده. این دو رواق از غرب و شرق به دو رواق طولانی متصل‌اند و روی مسجد هم با مجموعه‌ای گنبد بزرگ و کوچک پوشیده می‌شود؛ شش گنبد بزرگ با قطر 12 متر و 56 گنبد کوچک شش‌متری بخشی از سقف مسجد متحرک است و مساحت شبستان آن به 5035 متر مربع می‌رسد. این مسجد حالا کتابخانه و مرکز خرید و... هم دارد.
